A/B Testi İşe Yarıyor mu? GOV.UK’nin Tek Cümlelik Dersi

A/B Testi İşe Yarıyor mu? GOV.UK’nin Tek Cümlelik Dersi

“A/B testi yapıyoruz” diyen ekiplerin çoğu aslında buton rengi değiştiriyor. Yeşil mi daha iyi, turuncu mu? İki hafta bekleniyor, fark çıkmıyor, sonra herkes testin işe yaramadığına karar veriyor. Oysa dönüşüm optimizasyonu tarihindeki en çok konuşulan vakalardan biri, renge ya da tasarıma hiç dokunmadan, yalnızca bir cümleyi değiştirerek kazanıldı. Üstelik bir e-ticaret devinde değil, Birleşik Krallık hükümetinin resmi sitesi GOV.UK’de.

Growth hacking bültenlerinde “GOV.UK A/B testiyle yüzde 39 artış” başlığıyla dolaşan bu çalışmanın aslını merak edip birincil kaynaklara indim. Hikâye bültenlerde anlatılandan biraz farklı ama verdiği ders çok daha güçlü. Bu yazıda testin gerçekte ne olduğunu, rakamın nasıl okunması gerektiğini ve aynı yaklaşımı kendi sitenize nasıl uyarlayabileceğinizi anlatıyorum. hyturkyilmaz.com‘da dönüşüm üzerine yazdığım diğer yazılarla birlikte okursanız resim daha da netleşecek.

İçindekiler

• GOV.UK Gerçekte Neyi Test Etti?
• “Yüzde 39” Rakamını Doğru Okumak
• Tek Kelimenin Gücü: DVLA Butonu
• Mesaj Testinde İşe Yarayan Üç Prensip
• Sağlam Bir A/B Testi Adım Adım Nasıl Kurulur?
• Türkiye’deki E-Ticaret Siteleri İçin Ne Anlama Geliyor?
• Sıkça Sorulan Sorular
• Yarın Sabah İlk Testinizi Kurarken

GOV.UK Gerçekte Neyi Test Etti?

Haziran 2013’te GOV.UK ekibi, Davranışsal İçgörüler Ekibi (Behavioural Insights Team) ve İngiltere sağlık sistemiyle birlikte ilginç bir deney başlattı. İnsanlar araç vergisini yeniledikten ya da ehliyet işlemini bitirdikten sonra bir “işlem tamamlandı” sayfası görüyordu. Bu sayfaya, ulusal organ bağışı kayıt sistemine yönlendiren bir mesaj eklendi.

Ekip tek bir mesaj yazıp yayına almadı. Kontrol grubu dahil sekiz farklı versiyon hazırladı ve 24 Haziran ile 19 Temmuz 2013 arasında 1.085.322 kullanıcıya rastgele dağıttı. Versiyonlar şöyleydi: sosyal kanıt (“her gün binlerce kişi kaydoluyor”), sosyal kanıt artı logo, sosyal kanıt artı fotoğraf, kayıp çerçevesi, kazanç çerçevesi, karşılıklılık ve bilişsel uyumsuzluk mesajı.

Kazanan, karşılıklılık mesajı oldu: “Organ nakline ihtiyacınız olsaydı kabul eder miydiniz? Eğer öyleyse, siz de başkalarına yardım edin.” Bu tek soru-cevap cümlesi, kontrol grubuna göre 3.085 yerine 4.256 kayıt getirdi. Kayıt oranı yaklaşık yüzde 2,3’ten yüzde 3,1’e çıktı.

“Yüzde 39” Rakamını Doğru Okumak

Bültenlerde dolaşan “yüzde 39” rakamı bu çalışmadan geliyor ve aslında göreli bir artış. Kazanan versiyon kontrole göre yaklaşık yüzde 38 daha fazla kayıt üretti; araştırmacıların raporladığı olasılık oranı 1,38 (yüzde 95 güven aralığı 1,32 ile 1,45). Mutlak artış ise yaklaşık 0,8 puan. Bu ayrım önemli, çünkü “yüzde 39 artış” duyan biri formların yarısının dolduğunu düşünebilir. Gerçekte 100 kişiden 2’si yerine 3’ü kaydoluyor.

Küçük görünüyor değil mi? Ama ölçek devreye girince tablo değişiyor. Karşılıklılık mesajı daha sonra GOV.UK’deki 25 farklı işlem sonu sayfasına taşındı ve Ekim 2017’ye kadar 529.000 yeni organ bağışı kaydı getirdiği raporlandı. Bir cümlenin karşılığı yarım milyondan fazla insan.

Çalışmanın gözden kaçan ikinci dersi şu: her mesaj kazanmadı. Sosyal kanıt mesajına bir grup insan fotoğrafı eklenen versiyon, kontrol grubunun bile gerisinde kaldı. Yani “fotoğraf her zaman dönüşümü artırır” gibi genel geçer kurallar sahada çökebiliyor. Test etmeden bilemiyorsunuz.

Tek Kelimenin Gücü: DVLA Butonu

GOV.UK’nin mesaj testleri organ bağışıyla sınırlı değil. 2017’de ekip, ehliyet ve araç kurumu DVLA’nın iletişim sayfasındaki yeşil butonun metnini değiştirdi. Eskiden “Start now” (Şimdi başla) yazan buton, “Find contact details” (İletişim bilgilerini bul) oldu. Etkisi şaşırtıcıydı: mobilde yüzde 30, masaüstünde yüzde 14 daha fazla tıklama. Ekip bunun yılda yaklaşık 780.000 ek başarılı oturum anlamına geldiğini hesapladı.

Aynı dönemde nafaka hizmeti sayfasında kullanıcıları yolundan çıkaran bir bağlantı kaldırıldı ve ana butonun tıklanma oranı yüzde 6 arttı. Ortak nokta belli: kullanıcı ne yapacağını, o butona basınca ne olacağını net gördüğünde ilerliyor.

Mesaj Testinde İşe Yarayan Üç Prensip

1. Kullanıcının kendi diliyle konuşun

Kurum içinde kullandığınız terimler müşterinizin terimleri değildir. “Talep oluştur” yerine “Siparişimi iade et”, “Başvuru formu” yerine “Taksit seçeneklerini gör” gibi somut ifadeler, okuyanın zihnindeki soruyu doğrudan karşılar. Kısa cümle, net fiil, tek talimat.

2. Butona ne olacağını yazın

DVLA örneğindeki gibi, “Devam et” ya da “Daha fazla bilgi” yerine butonun arkasında ne olduğunu söyleyin: “Kargo ücretini hesapla”, “Beden tablosunu aç”, “Ücretsiz keşif görüşmesi planla”. Belirsizlik terk sebebidir.

3. Doğru psikolojik çerçeveyi bulun

Organ bağışı testinde karşılıklılık kazandı, kayıp çerçevesi de ona çok yakın performans gösterdi. Sizin kitleniz için hangisinin işe yarayacağını tahmin edemezsiniz, ama test edilecek çerçeveleri bilinçli seçebilirsiniz: sosyal kanıt, kayıp korkusu, karşılıklılık, kolaylık. Dönüşümün psikolojisi üzerine yazdığım yazıda bu çerçeveleri daha ayrıntılı ele almıştım.

Sağlam Bir A/B Testi Adım Adım Nasıl Kurulur?

GOV.UK çalışmasını değerli kılan şey sonuç kadar disiplin. Kendi testinizi kurarken şu sırayı izleyebilirsiniz:

1. Hipotezi cümleye dökün. “Buton metnini X yaparsam tıklama artar, çünkü kullanıcı butonun arkasında ne olduğunu bilmiyor” gibi. “Çünkü” kısmı yoksa elinizde hipotez değil tahmin var.
2. Tek değişken değiştirin. Başlığı, görseli ve butonu aynı anda değiştirirseniz hangisinin işe yaradığını asla öğrenemezsiniz.
3. Örneklem büyüklüğünü önceden hesaplayın. Mevcut dönüşüm oranınızı ve görmek istediğiniz minimum etkiyi bir örneklem hesaplayıcısına girin. Düşük dönüşüm oranlı sayfalarda küçük farkları yakalamak için on binlerce ziyaretçi gerekebilir.
4. En az iki tam hafta bekleyin. Hafta içi ve hafta sonu davranışı, maaş günleri ve kampanya dönemleri farklıdır. Testi erken durdurmak sahte kazananların en büyük sebebi.
5. Güven aralığına bakın. “Yüzde 20 arttı” demek yetmez; aralığın sıfırı içerip içermediğine bakın. GOV.UK araştırmacıları sonucu tam da bu yüzden olasılık oranı ve güven aralığıyla raporladı.
6. Kaybedenleri de kaydedin. Fotoğraflı versiyonun kaybetmesi, kazanan mesaj kadar öğreticiydi. Bir test günlüğü tutun.

Türkiye’deki E-Ticaret Siteleri İçin Ne Anlama Geliyor?

Türkçe sitelerde en sık gördüğüm hata, yurt dışındaki bir şablonun metinlerinin birebir çevrilmesi. “Add to cart” “Sepete ekle” olarak sorunsuz çevriliyor ama “Shop now” “Şimdi alışveriş yap” olunca mesaj yavanlaşıyor. Türk kullanıcısı için kargo süresi, iade kolaylığı ve taksit gibi bilgiler çoğu zaman butonun yanında durması gereken asıl ikna unsurları.

Pratikte test etmeye değer birkaç fikir: ürün sayfasında “Hemen al” ile “Yarın kapında” karşılaştırması, sepet sayfasında “Ücretsiz iade” vurgusunun butona yakın ya da uzak konumu, form sayfalarında “Gönder” yerine “Teklifimi al” ifadesi. Bir de KVKK açısından not düşeyim: çerez onayı vermeyen ziyaretçiler bazı test araçlarında ölçülemediği için örneklem beklediğinizden küçük çıkabilir; süre planlamasını buna göre yapın.

Bu tarz testleri e-ticaret yazıları arasında farklı açılardan tartışıyorum. Benzer bir kanıt temelli yaklaşım için Baymard araştırmasından çıkardığım CRO derslerine de göz atabilirsiniz.

Sıkça Sorulan Sorular

GOV.UK’nin “yüzde 39” artışı tam olarak neye ait?

2013’te bir milyondan fazla kullanıcıyla yapılan organ bağışı kayıt testine ait. Karşılıklılık mesajı kontrol grubuna göre yaklaşık yüzde 38 daha fazla kayıt getirdi; bültenlerde bu rakam yuvarlanarak yüzde 39 diye geçiyor. Mutlak artış ise yaklaşık 0,8 puan.

Küçük bir site A/B testi yapabilir mi?

Yapabilir ama beklentiyi doğru kurmak gerekir. Trafiğiniz azsa küçük farkları güvenle ölçemezsiniz; büyük, cesur değişiklikleri test edin ve süreyi uzun tutun. Çok düşük trafikte kullanıcı görüşmeleri ve oturum kayıtları daha hızlı içgörü verebilir.

Metin testi mi önce gelmeli, tasarım testi mi?

Genellikle metin. Hem daha ucuz hem daha hızlı uygulanır ve GOV.UK örneklerinde görüldüğü gibi etkisi tasarım değişikliklerinden büyük olabilir. Mesaj netleştikten sonra tasarım testine geçmek daha verimli.

Test ne zaman durdurulmalı?

Önceden hesapladığınız örneklem büyüklüğüne ulaştığınızda ve en az iki tam haftayı geçtiğinizde. Araç “kazanan bulundu” dese bile ilk günlerde durdurmayın; erken sonuçlar sıkça tersine döner.

Yarın Sabah İlk Testinizi Kurarken

A/B testi işe yarıyor, ama doğru soruyu sorduğunuzda. GOV.UK’nin dersi, büyük yeniden tasarım projelerinden önce kullanıcıya söylediğiniz tek cümleye bakmanız gerektiği. Sitenizde en çok trafik alan ama en az dönüştüren sayfayı açın, ana butonun ve başlığın gerçekten ne söylediğini okuyun, bir hipotez yazın ve test edin.

Bu süreci kendi markanız için hipotez listesinden ölçüme kadar birlikte kurmak isterseniz growth hacking danışmanlığı sayfasına göz atabilir ya da iletişim formundan yazabilirsiniz; 24 saat içinde dönüş yapıyorum.

Kaynakça

Barclay, C. (2014, 9 Mayıs). Using A/B testing to make things better. Government Digital Service. https://gds.blog.gov.uk/2014/05/09/using-ab-testing-to-make-things-better/

Government Digital Service. (2013, 6 Ağustos). Organ donation and A/B testing. https://gds.blog.gov.uk/2013/08/06/organ-donation-and-ab-testing/

Mcleod, M. (2017, 14 Kasım). Using A/B testing to measurably improve common user journeys. Inside GOV.UK. https://insidegovuk.blog.gov.uk/2017/11/14/using-ab-testing-to-measurably-improve-common-user-journeys/

Sallis, A., Harper, H., ve Sanders, M. (2018). Effect of persuasive messages on National Health Service organ donor registrations: A pragmatic quasi-randomised controlled trial with one million UK road taxpayers. Trials, 19, 513. https://doi.org/10.1186/s13063-018-2855-5